Khi cho ra đời album đầu tay, Ashlee luôn xuất hiện với hình ảnh một cô nàng rock-chick với những trang phục cá tính nhưng không quá bụi bặm khi kết hợp, móng tay sơn đen kỹ càng và mái tóc sẫm màu cho thấy rõ sự khác biệt giữa cô và những nữ ca sĩ tóc vàng khác, đặc biệt là với cô chị Jessica. Đến album thứ hai, Ashlee càng chứng tỏ sự cá tính và nổi loạn của mình cùng với tuyên ngôn "I Am Me" bằng việc quay trở lại với mái tóc vàng thủơ nào vì theo Ashlee, cô cảm thấy không thật sự thoải mái với mái tóc đen. Năm 2008, không còn bóng dáng một Ashlee nổi loạn nữa, mà thay vào đó là một cô gái trưởng thành và nhạy cảm với những ca khúc mang đậm phong cách những năm 80. Ashlee chuyển sang một style thời trang mới nữ tính và ít Rock-chick hơn với mái tóc đỏ suôn dài tạo sự mềm mại và gợi lên một cách chuyển hướng mới về cuộc sống cũng như âm nhạc của Ashlee.

Cũng giống như những cô gái mới lớn khác, Ashlee có tới 7 hình xăm ở cổ tay và mắt cá chân. Hình xăm mới nhất là một bông hoa hồng ấn tượng ở một bên cổ tay vào đầu tháng 3/2008.

Tuy được bình chọn vị trí thứ 16 trong danh sách Hot 100 của tạp chí Maxim năm 2007 nhưng Ashlee chưa từng "cởi đồ" trên tạp chí nào. Thậm chí cô từng từ chối chụp ảnh trên tạp chí Playboy với giá 4 triệu USD.

Ashlee Simpson từng có thời gian qua lại với Josh Henderson được gần 2 năm nhưng mối tình này nhanh chóng chấm dứt trong tập đầu của The Ashlee Simpson Show. Sau đó, simpson bắt đầu hẹn hò với nhạc sĩ, ca sĩ Ryan Cabrera. Cô từng tham gia trong MV On the Way Down của Ryan. Cặp đôi này không bên nhau được lâu với lý do công việc và đi đến chia tay vào tháng 8 năm 2004.

Năm 2004, Simpson vướng vào tin đồn tình cảm với bạn trai cũ của Lindsay Lohan, Wilmer Valderrama nhưng anh chàng lên tiếng rằng chuỵện giữa anh và Ashlee không liên quan đến cuộc chia tay với Lohan.

Vào cuối năm 2006, sau khi kết thúc mối tình với tay guitar Braxton Olita (người bạn thân thiết trong 7 năm và cũng là thành viên trong ban nhạc của cô), Ashlee bắt đầu mối quan hệ bền vững với Pete Wentz, thành viên của ban nhạc đình đám Fall Out Boy và cả hai đã tiến tới hôn nhân vào 18 tháng 5 năm 2008. Simpson cũng tuyên bố sẽ lấy họ của Pete ghép vào tên của mình như một điều mà các cô dâu vẫn thường làm khi về nhà chồng. Vào ngày 20/11 vừa qua, Ashlee đã sinh cho Pete một bé trai kháu khỉnh có tên Bronx Mowgli Wentz